量子位 报道 | 公众号 QbitAI

企鹅AI Lab和王者联合研发的策略协作型 AI「绝悟」，全英雄池解禁，更新成「完全体」了。

11月28日到30日，将限时放开三天公众尝试。

这次的更新，带来了新算法，除了突破了可用英雄限制，还优化了禁选英雄博弈策略。

而和此次更新相关的研究，也在近期被NeurIPS 2024和TNNLS分别收录。

在这两篇研究中，分别说明了「绝悟」进行强化训练和监督训练具体细节。

「完全体绝悟」是怎样训练出来的呢？

就让大家顺着这次的论文，好好来了解一下。

新的MOBA AI强化进修范式

这次更新带来的最大亮点便是：全英雄池更新。然而AI来说，英雄数增多，意味着的是阵型组合数量将呈多项式增长。

这对于运用自对弈强化进修进行训练的AI来说，不甚友好，也是必须面对的难题。

在NeurIPS 2024中，企鹅实验室提出了一种基于深度强化进修的进修范式，来尝试化解这个难题。

基于Actor-Learner框架，建立壹个分布式的RL架构，并运用离策略（off-policy）的方法产生训练数据。

之后在进行强化进修中，采用了统一的Actor-Critic网络结构来诠释不同英雄的游戏机制以及动作。

研究者还受到神经网络职业中课程进修的启发，在训练设计了一套课程进修方式：先从小任务开始学，接着逐渐增加难度。

具体来讲，就是先用固定阵型来训练多个teacher模型，接着进行蒸馏，把全部teacher的姿势蒸馏到壹个模型中。

利用了student-driven的策略蒸馏方式，便可以将从简单任务中进修到的姿势转移到复杂的任务中。

对于完整的游戏来说，禁选英雄（BanPick，BP）也是其中重要的一环。

常见的BP方式有Minimax算法，不过受限于计算难度，只适用于小英雄池。随着可用英雄数量的增加，便会带来新的难题。

而企鹅实验室给出的方法是：基于蒙特卡洛树搜索（MCTS）和神经网络进行BP的方式。

在最后的测试中，这个AI展现出了惊人的胜率：

在对抗职业选手中，实现了95.2%的胜率(42局)；而对抗高水平的玩家中，则实现了97.7%的胜率(642,047局)。

监督进修，让AI达到人类高手水平

便是监督进修了。在现在11月14日起放开的「绝悟」第1到19级，就有多个关卡由监督进修训练而成。

而TNNLS中的论文，便详细说明了「绝悟」智能体，是怎样进行监督进修的。

监督进修成功的决定因素其中一个，便是设计好特征和标签，对于MOBA游戏，企鹅实验室是这么设计的：

特征中，包括两部分：矢量特征，代表游戏情形；图像特征，代表地图信息。

标签设计也分两部分：意图标签，代表大局观；行动标签，表征微操策略。

大局观对应的多视角意图

研究人员设计了多视角意图标签，包括全局意图和局部意图标签，以对大局观进行建模。

整个地图被划分成24*24的区域块，接着全局意图标签被定义为地图上发生下一系列攻击的编号区域。

局部小地图被划分为12*12的区域块，局部意图标签是从两次攻击事件之间玩家的中途位置提取的，为进修大局观提供了中间信息。

微操策略的层级动作设计

研究人员设计了分层的动作标签，用以控制英雄的微操策略。

这其中包括两层。第一层代表动作类型，比如移动、技能、回城等。第二层代表选定动作的参数，比如路线、位置、目标等。

多模态特征

同时运用了矢量特征和类图像特征，它们分别表征的是游戏情形和地图信息。

其中矢量特征包括血量，技能冷却，金币，等级等及时序信息等。

类图像特征包括局部类图像特征和全局类图像特征。

局部类图像特征的范围是英雄的局部小地图，全局类图像特征的范围是全局地图。

在设计好特征和标签的基础上，AI建模任务便被定义成了壹个层级的多分类难题，之后通过神经网络模型来化解。

模型简单来看就是：全局和局部图像特征经过卷积神经网络处理，矢量特征通过全连接网络处理，两者连接到一起去预测全局和局部的宏观意图。

之后进一步的，嵌入大局观的预测结局，和原有的隐层编码连接在一起，经过输出层输出微操策略对应的标签。

在大局观和微操策略间，运用了加权的多任务损失函数进行进修。

而在本研究中的最后测试中，结局也表明：在监督进修后，该AI体系在5V5玩法中，能达到人类顶尖业余高手水平。

关于「绝悟」

「绝悟」，是由企鹅AI Lab和王者联合研发的策略协作型 AI。名字含义绝佳领会力。

其技术研发始于2024年12月，并在2024年12月通过了顶尖业余水平测试。

从去年开始，「绝悟」开始被训练运用英雄，现在1月AI可以职业水平的英雄达到20名，而4月达到了40名。

技术团队一年内让 AI 掌握的英雄数从1个增加到100+个，完全解禁英雄池。此版本得名「绝悟完全体」。

不说了，我要打开王者去会会这个「完全体」了。

— 完 —

这篇文章小编将系网易新闻•网易号特色内容激励规划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

「MEET 2024智能未来大会」启幕，

早鸟票限时抢购中，扫码预定席位！

李开复博士、尹浩院士、清华唐杰教授，以及来自小米、美团、爱奇艺、小冰、亚信、浪潮、容联、澎思、地平线、G7等知名AI大厂的大咖嘉宾齐聚，期待关注AI的兄弟报名参会、共探新形势下智能产业进步之路。